[pytorch][进阶之路]pytorch学习笔记二-自动求导和module

1 . 在 Tensor 上的所有操作，autograd 都能为它们自动提供微分，避免了手动计算导数的复杂过程，只需要设置 tensor.requires_grad=True 即可。

x = t.ones(2, 2, requires_grad=True)
y = x.sum()
y.backward()
x.grad  #  tensor([[ 1.,  1.], [ 1.,  1.]])

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以反向传播之前需把梯度清零。

y.backward()
x.grad #  tensor([[ 2.,  2.], [ 2.,  2.]])
x.grad.data.zero_() # 以下划线结束的函数是inplace操作，会修改自身的值，就像add_
y.backward()
x.grad  #  tensor([[ 1.,  1.], [ 1.,  1.]])

2. torch.nn是专门为神经网络设计的模块化接口。nn构建于 Autograd之上，可用来定义和运行神经网络。nn.Module是nn中最重要的类，可把它看成是一个网络的封装，包含网络各层定义以及forward方法，调用forward(input)方法，可返回前向传播的结果。

如果某一层(如ReLU)不具有可学习的参数，则既可以放在构造函数中，也可以不放，但建议不放在其中，而在forward中使用nn.functional代替。

网络的可学习参数通过net.parameters()返回，net.named_parameters可同时返回可学习的参数及名称。

params = list(net.parameters())
print(len(params))

for name,parameters in net.named_parameters(): #输出命名的参数
    print(name,':',parameters.size())

需要注意的是，torch.nn只支持mini-batches，不支持一次只输入一个样本，即一次必须是一个batch。但如果只想输入一个样本，则用 input.unsqueeze(0)将batch_size设为１。

3. nn 实现了神经网络中大多数的损失函数，例如 nn.MSELoss 用来计算均方误差，nn.CrossEntropyLoss 用来计算交叉熵损失。

output = net(input)
target = t.arange(0,10).view(1,10)
criterion = nn.MSELoss()
loss = criterion(output, target)
loss # loss是个scalar

当调用loss.backward()时，该图会动态生成并自动微分，也即会自动计算图中参数(Parameter)的导数。

4. 在反向传播计算完所有参数的梯度后，还需要使用优化方法来更新网络的权重和参数，例如随机梯度下降法(SGD)的更新策略如下：

learning_rate = 0.01
for f in net.parameters():
    f.data.sub_(f.grad.data * learning_rate)# inplace 减法

torch.optim中实现了深度学习中绝大多数的优化方法，例如RMSProp、Adam、SGD等，更便于使用，因此大多数时候并不需要手动写上述代码。